Протестировать всё: новый подход к А/B-экспериментам в Директе

С помощью новых сегментов в Аудиториях и новых отчётов в Директе и Метрике можно узнать, какая реклама эффективнее. Например, эксперименты помогут понять, как размещение в Рекламной сети Яндекса или выбор стратегии влияет на результат размещения, оценить, как влияют показы медийной рекламы на конверсии на сайте, и так далее. 
 

Как устроены эксперименты в Директе

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми. 

Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.
 

Как запустить эксперимент 

• Создать эксперимент в Аудиториях — завести сегменты пользователей на долю аудитории.
• В Директе привязать сегменты к тестируемым кампаниям.
• Сравнить статистику по тестовым сегментам  и всем остальным пользователям с помощью Мастера отчётов Директа и данных Метрики. 

Для правильного эксперимента вам потребуются:

1.  Настроенные цели или Ecommerce действия в Метрике — источник информации о конверсиях. 
2.  Счётчик Метрики, привязанный ко всем кампаниям, которые вы будете тестировать.
3.  Накопленная статистика — не менее 200 конверсий в месяц в кампании, которую вы хотите протестировать. Это может быть оформление заказа на сайте, просмотр определённых страниц, заявка на тест-драйв, скачивание брошюры, звонок и так далее.
4.  Доступ к экспериментам в Аудиториях и Директе. Получить его можно у вашего менеджера в Яндекса или обратившись в отдел клиентского сервиса.    
5.  Гипотеза, которую вы хотите проверить — например, насколько эффективнее стала обновлённая стратегия для сетей. 

Зайдите в Аудитории под тем же логином, что и в Директе, и создайте новый эксперимент: 

В Директе заведите кампании для эксперимента, к каждой из них подключите счётчик Метрики, привяжите к каждой экспериментальный сегмент и нацельте кампании на них. 

В примере с тестированием стратегий нужно создать 2 клона первоначальной кампании и поменять стратегии. Тестовые кампании привязываем каждую к своему сегменту. Исходную кампанию останавливаем, а 2 новые кампании — запускаем. Эксперимент заработал!

Подробнее шаги настройки экспериментов описаны в помощи Директа и Аудиторий. Освоить их поможет и обучающее видео. 

Важно:

• Проводить любой A/B-тест следует не менее 2 недель, лучше — больше. Главное, чтобы за этот период успела накопиться статистика.
• Тестировать гипотезы лучше на таких кампаниях, которые успеют собрать за месяц не менее 200 конверсий, которые вам нужны. 
• Кампании в эксперименте нужно одновременно начинать и так же одновременно останавливать. То есть кампании, участвующие в тесте, должны в одно время или показываться, или не показываться.
• После эксперимента не забудьте отвязать сегменты от кампаний. 

Какие данные анализировать

Переходим к самому интересному. Для анализа понадобятся затраты из Мастера отчётов в Директе и конверсии из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — скажем, клики, показы или CTR — в рассмотрении не участвуют.

Выбираем эксперименты в качестве условия фильтрации в Директе:

И смотрим расходы по сегментам из эксперимента: 

В отчётах Метрики нужно кликнуть на «Группировки», выбрать нужный эксперимент, а затем в окне кликнуть «Метрики» и выбрать конверсии (то есть достижение целей или Ecommerce действие) в интересующей вас воронке. Например, добавление в корзину, посещение карточки продукта или оформление заказа:

Если экспериментальные кампании занимают малую долю рекламного бюджета (менее 50%) — стоит в фильтрах Метрики указать кампании, участвующие в эксперименте. 
 

Пример: сравнение стратегий

Один из рекламодателей Директа решил сравнить, какая стратегия в кампаниях со смарт-баннерами выгоднее. Для этого аудиторию разделили на две части: 

Сегмент A — оптимизация количества кликов.

Сегмент B — средняя рентабельность инвестиций. 

Вывод: при том же бюджете вариант с автостратегией принёс на 150% (± 29%) больше конверсий,  чем стратегия на сохранение СРС, при этом CPA уменьшился на 60% (± 5%).
 

Что ещё можно проверять с помощью экспериментов

Сценариев для экспериментов бесконечное множество — всё зависит от ваших задач. Один из самых простых кейсов — тестирование новых продуктов или функциональностей Директа. Чтобы посмотреть, как новый тип объявлений или стратегия работает в вашей тематике, заведите экспериментальную кампанию с новинкой только на небольшую долю аудитории.

Или вы хотите привлечь больше конверсий и рассматриваете два варианта решения этой задачи: поднять ставки на поиске или включить дополнительную кампанию в Рекламной сети Яндекса. Тут тоже поможет эксперимент в Директе. 

Третья распространенная задача: у вас есть два медиаплана, которые хочется сравнить, прежде чем направлять бюджет на один из них. 

Какой бы сценарий для эксперимента вы ни выбрали, важно соблюдать простые условия: 

• Выбирайте один и тот же временной интервал в Метрике и Директе.
• В этом временном интервале эксперимент должен работать.
• Нужно ограничить статистику на тот регион, в котором вы проводили тест (то есть и в Метрике и в Директе указать фильтр на регион).